Por Alejandro Urueña - María S. Taboada

Un modelo de lenguaje lee cantidades enormes de texto para aprender a predecir qué pieza viene después. No arma frases con sentido como nosotros: no hay alguien adentro que comprenda el significado. Hay una función matemática que, dado el texto hasta aquí, le pone un puntaje a cada pieza posible del vocabulario. Una fórmula —el softmax— convierte esos puntajes en chances. Eso es next-token prediction: calcular, a cada paso, una distribución sobre el siguiente token.

Si escribimos “El cielo es…”, esas chances pueden verse como un bolillero. En un ejemplo ilustrativo, de cada 100 bolillas 76 dirían “azul”, 17 “celeste”, 6 “gris” y, con suerte, una diría “pizza”. Cuando el sistema genera por muestreo, saca una bolilla, pega esa pieza al texto y vuelve a calcular para la siguiente. No siempre sortea: a veces se queda con la opción de más chance.

Anthropic lanza Claude Opus 5.5 en pleno debate sobre la inteligencia artificial

En el entrenamiento no hay bolillero. Lo que hay es ajuste de funciones: se mueven millones de parámetros para que esas chances se parezcan a lo que realmente venía después en los textos. En la generación esos parámetros ya están fijos. No hay comprensión de lo que se va produciendo; hay un cálculo que devuelve chances y un procedimiento que elige.

Lo que se siente original suele estar lejos del modo. Si uno pidiera mil veces lo mismo, vería muchas respuestas parecidas y unas pocas raras: se podría decir que es como una campana de Gauss, una masa concentrada y una cola larga. Esas puntas incomodan. Holtzman (El curioso caso de la degeneración del texto neuronal) y su equipo mostraron que si el modelo elige siempre lo más probable, el texto sale «insulso y extrañamente repetitivo»; dejar entrar cualquier token de la cola tampoco sirve. Propusieron recortar la cola menos confiable y sortear solo dentro del núcleo: el conjunto más chico de piezas cuya chance acumulada llega a un umbral pp. Esa técnica, top-p o nucleus sampling, hoy es estándar.

Ojo con la moraleja: la cola que se tira no es «lo pensado». Es, según ellos, la zona poco fiable del modelo. Si hay algo que se lea como inventiva, sale del núcleo variable —las alternativas aún plausibles—, no de las bolillas más raras. Y ese recorte no viene de fábrica: lo aplica el procedimiento que elige, después de que el modelo ya calculó las chances.

El secretario general de la ONU pidió regular la inteligencia artificial antes de que “gobierne por su cuenta”

Pedimos varias respuestas y armamos el bolillero siguiente solo con lo que salió. Lo raro (pizza) muchas veces ni entra. Lo que no salió queda en cero, y de ese cero no se vuelve aunque se suba la temperatura de la urna. Repetir el sorteo y guardar solo lo que aparece achica el bolillero hacia lo típico, hacía azul. En una charla el mecanismo es otro, y más chico: el modelo no reconstruye la urna; deja lo que ya dijo en el contexto y eso empuja lo que sigue. Xu y su equipo llamaron a eso efecto de auto-refuerzo: cuanto más se repite una frase a la vista, más probable es volver a generarla (Xu et al., 2022).

A escala industrial, el bolillero que se achica tiene nombre. En 2024, Shumailov y otros publicaron en Nature AI models collapse when trained on recursively generated data qué pasa cuando se entrena a un modelo con textos escritos por otros modelos, de forma indiscriminada, es decir, cuando esos textos entran al corpus de la camada siguiente como si fueran humanos. Entrenar, aquí, es ajustar el modelo sobre un mar de textos. El resultado, escribieron, “causa defectos irreversibles” en los que “desaparecen las colas de la distribución original”. Lo llamaron model collapse, colapso del modelo. Primero se van las bolillas raras. Al final queda una distribución con muy poca variedad. El equipo de Alemohammad Self-Consuming Generative Models Go MAD le puso un nombre menos diplomático, Model Autophagy Disorder: el modelo que se come a sí mismo. Y concluyó que, sin suficientes datos reales frescos en cada camada, los modelos futuros están “condenados” a perder calidad o diversidad. Es la fotocopia de la fotocopia.

Y el círculo ya se está cerrando afuera del laboratorio. Doshi y Hauser hicieron a un grupo de personas escribir cuentos; unos podían recurrir a IA; otros no. Los primeros salieron mejor evaluados, pero más parecidos entre sí que los escritos solo por humanos. Liang y otros estimaron que entre el 6,5% y el 16,9% del texto de las revisiones por pares de grandes conferencias de IA pudo haber sido sustancialmente modificado por modelos de lenguaje (son los informes con que los científicos evalúan los trabajos de sus colegas). Ese texto es, potencialmente, el alimento de los modelos que vienen. La salida existe, y es tan simple como el problema. Gerstgrasser y su equipo confirmaron que reemplazar los textos humanos por los de máquina “efectivamente tiende al colapso”, pero que acumularlos junto a los originales lo evita. Traducido al bolillero: no tirar nunca las bolillas de la gente, y seguir metiendo bolillas nuevas. La chispa no sale de la manija: entra de afuera. Una inteligencia que solo se escucha a sí misma no es artificial ni natural: es un eco con buena ortografía.

Inteligencia artificial: modelos infiltrados y controles que buscan alcanzarlos

Estas evidencias nos remiten a una problemática educativa urgente e insoslayable. Si docentes y estudiantes desconocen estas limitaciones de la IA, también están condenados a repetirla, a perder autodeterminación, reflexión, conciencia crítica, creatividad. Están sentenciados a ser fagocitados por la IA. Es decir, a ser manipulados por las empresas que devoran la información del mundo y de las personas para “entrenar” a sus modelos con el objetivo de que, a su vez, los algoritmos fagociten el pensamiento y el lenguaje de los humanos bajo el disfraz de inteligencia y eficiencia. No basta entonces con advertir a los estudiantes sobre los riesgos; hay que hacer ingresar la IA y los dispositivos al aula y trabajarla, conocerla, analizarla críticamente y aprender a dominarla para no terminar siendo un objeto de domesticación de las grandes tecnológicas y el mercado de datos. Si se la demoniza y se la deja fuera del aula, no se termina el riesgo; tan sólo se lo ahuyenta y se deja a los alumnos a su merced. Y, al mismo tiempo, se desaprovecha aquello en lo que efectivamente la IA puede contribuir a potenciar el pensamiento y la creatividad humanos. Si no estamos dispuestos a aceptar que las nuevas generaciones sean una bolilla más en un bolillero gobernado por los tecnomagnates, es hora de que las políticas de Estado asuman el rol que efectivamente les cabe en la defensa del pensamiento y los derechos humanos.